Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops
利用对抗式黑客-修复循环加固智能体基准测试
🧭 智能体基准测试的对抗性加固 ★ 深度解读
Carnegie Mellon University · Fewshot Corp · Independent Researcher
提出黑客-修复循环自动加固基准验证器，配合共享防御池与验证器访问，将攻击成功率降至0%
📌 工作参考价值（4 点）
- 奖励函数漏洞自动化测试：电商推荐与多智能体系统的奖励函数（如点击率、转化率）可被 Agent 恶意利用；可借鉴黑客-修复循环，将 reward hacking 探测与自动补丁流程集成到离线评估或 RL 训练中，提前发现并堵住指标漏统、反作弊绕过等漏洞。
- 共享防御池的跨场景复用：多个推荐场景或任务若共用同一套评估基础设施（如推荐引擎的指标计算服务），可仿照本文的 shared defense pool，将某个任务中发现的防作弊补丁自动推送到其他任务，降低重复修复成本。
- 弱-强防御能力的构建：本文证明用弱模型（Flash）加验证器源代码访问和防御池，可抵御强模型（Pro、Opus）的盲攻击。在 Agent 链路中，可为较低成本的监控模型赋予更多上下文（如奖励函数代码），使其防御能力媲美更强但无信息的攻击者。
- 生成式推荐中验证器的鲁棒性参考：生成式物品或语义 ID 评价常依靠自动校验脚本，这些脚本本身可能就是攻击面。本文的迭代修复思路可直接用于加固生成式推荐的离线评测脚本，防止模型通过伪造输出来刷分。